Garnier chiếm lấy điện Kính Thiên trong thành Hà Nội làm tổng hành dinh để bắt đầu ngay việc sắp xếp giữ thành và cai trị, dán cáo thị trấn an dân chúng. Các cổng vào thành Hà Nội đều đóng kín và có đặt chướng ngại vật, ngoại trừ cửa phía Đông giao cho binh sĩ người Pháp coi giữ và kiểcử phó thuyền trưởng Adrien-Paul Balny d'Avricourt đưa thuyền chiến l'Espignole cùng với 15 lính hải quân đánh bộ do chuẩn úy Trentinian chỉ huy và y sĩ Harmand đi tuần thám các cửa sông.

Toán quân này khởi hành từ 23 tháng 11 năm 1873 (tức ngày 4 tháng 10 âm lịch)[4][5] để bắt các quan binh triều đình ở các tỉnh thành Bắc Kỳ phải quy hàng và phá bỏ mọi chướng ngại vật trên các lòng sông. Mục tiêu trước tiên của họ là uy hiếp thành Hưng Yên, rồi tiếp đến là đánh chiếm Phủ Lý ngày 26 tháng 11, rồi đặt một người tên Lê Văn Bá cầm quyền cai trị cùng với đội dân vệ người An Nam do quân Pháp tuyển mộ. Trong khi đó thì Garnier đưa quân đi chiếm đóng vùng phụ cận Gia Lâm ở phía tả ngạn sông Hồng, lo bảo đảm an ninh tuyến đường Hà Nội-Phủ Lý.

Hạ thành Hải Dương

Để duy trì đường thông thương ra biển và kiểm soát đường cái quan Hà Nội - Huế, Garnier lại cử thuyền trưởng Adrien-Paul Balny d'Avricourt đi Hải Dương và Ninh Bình. Tổng đốc Hải Dương từ chối không chịu xuống thuyền chiến Espignole để gặp Balny. Quân Pháp đổ bộ lên bờ, quan binh trong thành kháng cự mạnh nhưng không gây được thiệt hại nào cho đối phương. Quân Pháp tiếp tục công thành, cửa thành bị vỡ, quân trong thành rút chạy, thành Hải Dương bị mất vào tay quân Pháp chỉ trong vòng hơn một tiếng đồng hồ giao tranh giữa hai bên.

Đổng suất quân vụ Lê Hữu Thương, Tổng đốc Hải Dương Đặng Xuân Bảng, Bố chánh Nguyễn Hữu Chánh bỏ thành chạy ra huyện Gia Lộc và Cẩm Giàng. Quân Pháp phá hủy, đốt hết binh trại trong thành, chiếm đoạt kho lương và tiền bạc rồi đặt chuẩn úy de Tritinian và 15 lính thủy bộ ở lại giữ thành, tổ chức việc cai trị, mộ thêm lính bản xứ địa phương để phòng giữ an ninh.[6][7]

Hạ thành Ninh Bình

Đinh ninh toán binh sĩ của Balny vẫn còn ở Phủ Lý, Garnier sai chuẩn úy Hautefeuille với một tàu nhỏ máy hơi nước với 8 thủ thủ và 2 lính dân vệ người An Nam tăng cường để Balny chuẩn bị tiến chiếm thành Hải Dương.

Khi đến Phủ Lý thì Hautefeuille hay tin thành Hải Dương đã bị toán quân của Balny chiếm, nên 5 tháng 12 Hautefeuille theo dòng sông Đáy chạy tàu ra Kẻ Sở để phá bỏ các chướng ngại vật, cũng như đưa toán lính đi theo của mình lên bờ sông để giải tán rất nhiều dân phu do quan lại địa phương bắt đi đắp lũy, làm bè tre hỏa công, đóng cọc nhằm ngăn chận quân Pháp vượt qua sông. Một phó lãnh binh điều khiển nhóm dân phu lao dịch bị Hautefeuille bắt giữ nhưng rồi được tha ngay sau đó. Sáng sớm ngày 5 tháng 12 năm 1873 (16 tháng 10 âm lịch năm Quý Dậu), tàu của Hautefeuille đến trước thành Ninh Bình, bắn hai phát trọng pháo vào thành rồi chờ đợi trời sáng và phản ứng của quân trú thành.

Quân trú phòng xuất hiện rất đông trên bờ thành. Dân quân tự vệ chuẩn bị chèo ghe ra bao vây tàu máy của Hautefeuille nhưng bị giải tán ngaỵ. Hautefeuille dẫn quân nhảy lên bờ tiến đến cổng thành. Các ụ công sự trước cổng thành đã bị bỏ trống không có người chống giữ. Dân quân tự vệ ào ra bao vây toán quân của Hautefeuille nhưng e sợ không dám tấn công. Quân Pháp bắn đại bác từ tàu hơi nước lên bờ giải tán nhóm dân quân. Hautefeuille vượt nhanh qua cầu trước cổng thành. Tuần phủ Nguyễn Vũ đang đứng dưới lọng che trong nhà tiếp khách bên ngoài vòng thành để đón Hautefeuille nhưng bị Hautefeuille xông tới bắt làm con tin để quân Pháp vào thành một cách an toàn và bắt trói tất cả các quan chức trong thành, thành Ninh Bình với 1.700 quân thất thủ.

Ngày 09 tháng 12 dl 1873, F. Garnier rời Hà Nội đi tàu Scorpion với 40 quân binh và thủy thủ đoàn, kéo theo một thuyền buồm chuyên chở đạn dược tới Ninh Bình vào buổi chiều, vào thành Ninh Bình khen ngợi Hautefeuille, sắp xếp để lại cho Hautefeuille 10 bộ binh thay cho 7 thủy thủ cũ để giữ thành Ninh Bình.

Hạ thành Nam Định

Ngày hôm sau 10 tháng 12 năm 1873, Garnier thẳng tiến xuống Nam Định. Vào lúc 9 giờ sáng, tàu chiến Scorpion tới một khuỷu sông gần thành Nam Định thì rơi vào ổ phục kích của quân An Nam nhưng không bị thiệt hại nào đáng kể. Đồng thời đạn đại pháo từ trong thành bắn ra nhưng hầu hết đều không trúng được tàu chiến Scorpion. Nhiều thủy thủ leo lên cột buồm tàu bắn trả khiến cho tiếng súng trong thành và từ các ổ phục kích phải chấm dứt. Toán của Bouxin gồm có 15 binh sĩ và một khẩu trọng pháo đổ bộ lên bờ để dụ quân trú phòng kéo tới phòng thủ cổng thành phía Nam, nhưng quân binh trên thành chống trả mạnh khiến cho toán quân Bouxin không thể tiến lên. Trước tình hình đó Garnier đích thân dẫn đầu một toán 15 binh sĩ đổ bộ lên bờ trước cửa thành phía Đông, trong khi một toán khác do Bouillet chỉ huy đổ bộ vào phố thị buôn bán của tỉnh Nam Định và ngăn ngừa quân An Nam tấn công đường rút lui toán quân của Bouxin.

Trước cổng thành phía Đông, Garnier dùng đại bác bắn phá cửa thành nhưng đại bác lại bị hỏng sau ba phát đạn. Garnier liền dùng một trong các bọ ngựa dùng làm chướng ngại vật chận ngang cầu trước cổng vào thành để làm thang trèo vào bên trong. Garnier dẫn đầu leo lên bờ thành, quân lính trong thành hoảng sợ rút lui tìm đường chạy trốn về phía cổng thành phía Nam. Thành Nam Định bị mất.